• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    本發明描述一種用於判定以在經編碼視訊之圖框速率下降至使得移動視訊之感知感覺丟失的低位準時自一視訊序列選擇具有高視覺美觀且可以高品質編碼之圖框的系統及方法。自一候選輸入圖框導出一度量，且使用此度量來判定是增加抑或減小給予候選輸入圖框之一權重。在一實施例中，該度量可為與該候選輸入圖框相關聯之自動曝光資料。
    公开号:TW201306601A
    申请号:TW101123635
    申请日:2012-06-29
    公开日:2013-02-01
    发明作者:Douglas Scott Price；Xiao-Song Zhou；Hsi-Jung Wu
    申请人:Apple Inc；
    IPC主号:H04N19-00
    专利说明:
    基於圖框相似性及視覺品質及興趣之圖框編碼選擇
    本發明之態樣大體上係關於視訊處理之領域，且更具體言之，係關於預測性視訊編碼系統。
    本申請案主張於2011年7月1日申請之題為「FRAME ENCODING SELECTION BASED ON FRAME SIMILARITIES AND VISUAL QUALITY AND INTERESTS」的美國臨時專利申請案第61/503,795號之優先權的權利。彼臨時申請案之全文特此以引用之方式併入。
    在以10個圖框每秒(fps)或10個圖框每秒以上之速率顯示多個影像時，視訊顯示系統賦予移動視訊之感覺。視訊編碼系統試圖藉由編碼視訊序列且經由頻寬受限頻道傳輸視訊序列來傳送運動。然而，在許多系統中，頻道頻寬可在無警告之情況下變化。視訊編碼系統動態地更改視訊序列之參數(量化參數、編碼模式、圖框大小及圖框速率)以使經編碼視訊資料適配於藉由頻道提供之頻寬。視訊編碼協定為有損耗程序，且因此，一些編碼參數可降低經恢復之視訊的感知品質。
    然而，在一些狀況下，頻寬限制變得嚴重以致編碼器必須使圖框速率下降至經恢復之視訊停止被感知為「移動」視訊的位準。舉例而言，在1至3 fps處，經恢復之視訊可能被感知為一系列靜態影像(類似於投影片放映效應)而非移動視訊。當視覺上不美觀的影像(模糊影像、曝光不足之影像等)在終端機處顯示延長時間段時，消費者感知經編碼序列之品質特別壞。發明者因此感知到對於編碼控制方案之技術上的需要，該編碼控制方案在嚴重頻寬限制期間選擇高品質影像以用於編碼。
    本發明之實施例提供技術，該等技術用於判定以在經編碼視訊之圖框速率下降至使得移動視訊之感知感覺丟失之低位準時且在此等圖框速率在使用中時自一視訊序列選擇具有高視覺美觀且可以高品質編碼之圖框。與具有較低美觀及/或品質之其他圖框相比，選擇此等圖框以用於編碼。
    圖1(a)為說明根據本發明之實施例的視訊編碼系統100之簡化方塊圖。如所展示，系統100可包括經由網路130互連之複數個終端機110、120。終端機110、120各自可在本端位置處捕獲視訊資料，且編碼視訊資料用於經由網路130傳輸至其他終端機。每一終端機110、120可自網路130接收其他終端機之經編碼視訊資料，重建構經編碼資料且顯示自經編碼資料恢復之視訊資料。
    在圖1(a)中，終端機110、120經說明為智慧型電話，但本發明之原理不限於此。本發明之實施例獲得關於個人電腦(桌上型電腦及膝上型電腦兩者)、平板電腦、電腦伺服器、媒體播放器及/或專用視訊會議設備之應用。
    網路130表示在終端機110、120之間傳送經編碼視訊資料的任何數目個網路，包括(例如)有線及/或無線通信網路。通信網路130可在電路交換式或封包交換式頻道中交換資料。代表性網路包括電信網路、區域網路、廣域網路及/或網際網路。出於本論述之目的，網路130之架構及拓撲對本發明之操作而言不重要，除非在下文中解釋。
    圖1(b)為說明根據本發明之實施例的終端機110之組件之簡化方塊圖。終端機110可包括視訊編碼器140、攝影機150、運動感測器160及面部偵測器170。攝影機150可捕獲終端機110處之影像。攝影機150可包括多種控制元件，該等控制元件包括自動曝光控制155(在圖1(b)中單獨展示)。視訊編碼器140可執行編碼程序以壓縮自攝影機150輸入至視訊編碼器140的視訊資料。諸如陀螺儀或加速度計之運動感測器160可偵測終端機110之移動。面部偵測器170可分析藉由攝影機150輸出之圖框且可判定在圖框內容中人面部是否可見。
    如圖1(b)中所說明，視訊編碼器140可包括若干功能模組，該等功能模組包括圖框緩衝器141、預處理器142、編碼引擎143、參考圖像快取記憶體144、傳輸器145及控制器146。圖框緩衝器141可在藉由攝影機150輸出之圖框經編碼之前儲存圖框。可在各種操作模式中自緩衝器141丟棄此等圖框以使視訊序列之圖框速率適合於包括可用位元率之編碼約束，視訊編碼器140必須在該等編碼約束下操作。
    預處理器142可對儲存於緩衝器141中之視訊資料執行各種分析及信號調節操作。舉例而言，預處理器142可將各種濾波操作應用於圖框資料以改良藉由編碼引擎143施加之編碼操作的效率。編碼引擎143可藉由利用視訊資料中之時間及空間冗餘來編碼輸入視訊資料。通常，編碼引擎143藉由運動補償預測性編碼來編碼輸入視訊資料，運動補償預測性編碼涉及貫穿參考圖像快取記憶體144搜尋以找到提供針對輸入圖框之良好預測參考的資料。參考圖像快取記憶體144可儲存經重建構之參考圖框資料。作為其操作之部分，編碼引擎143可指定某些圖框為可充當針對稍後接收之視訊資料的預測參考之「參考圖框」。編碼引擎143亦可包括用以解碼參考圖框之經編碼資料的功能性(未圖示)，且將經重建構資料儲存於參考圖像快取記憶體144中。傳輸器145可緩衝來自編碼引擎143之經編碼視訊資料，且可準備資料以用於經由頻道131傳輸至終端機120。控制器146可管理視訊編碼器140之操作。
    運動感測器160可在視訊捕獲期間偵測終端機110之移動。運動感測器160可經體現為加速度計、陀螺儀或類似感測器。
    面部偵測器170(如其名稱所隱含)為分析視訊內容且判定是否可在視訊內偵測到人面部之功能單元。面部偵測器通常輸出表示每一圖框內之任何所偵測面部的座標之資料及可能表示面部偵測正確之經估計可能性的信賴計分。
    面部偵測器170亦可輸出識別所偵測面部之特性(例如，面部是否在微笑、眼睛是否經偵測為睜開等)的後設資料。
    終端機120可包括顛倒藉由終端機110執行之處理操作的功能區塊(未圖示)。因此，終端機120可包括用以自頻道接收經編碼資料之接收器及用以顛倒藉由視訊編碼器執行之編碼操作的解碼器。解碼器可產生適合用於顯示或終端機120之顯示器件的經恢復之視訊。
    為了支援雙向通信，終端機120可包括對應於攝影機、視訊編碼器140、運動感測器160及面部偵測器170之終端機120自身的功能區塊(未圖示)。在此實施例中，終端機120可捕獲本端環境之視訊且編碼該視訊以用於遞送至終端機110。終端機110可包括其自身的接收器及解碼器以自藉由終端機120傳輸之經編碼視訊恢復視訊。再次，僅出於方便起見，未展示此等功能單元。
    在本發明之一項實施例中，視訊編碼器之針對預測參考之搜尋可強調時間上最接近於正經編碼之圖框的參考圖框。圖2(a)及圖2(b)說明根據本發明之實施例之編碼操作，在該編碼操作中視訊編碼器基於時間資料選擇參考圖框。
    圖2(a)說明視訊編碼器將N個參考圖框201至210儲存於參考圖像快取記憶體中之編碼操作。此等參考圖框可用於用作針對正經輸入至視訊編碼器之新圖框220之預測參考。可在逐像素區塊基礎上指派預測參考。亦即，可將輸入圖框剖析成複數個像素區塊，且接著可比較每一像素區塊與每一參考圖框之同位置資料，以識別匹配來自輸入圖框之像素區塊的一或多個參考圖框像素區塊。運動估計搜尋可跨越每一像素區塊之空間區域搜尋以找到匹配預測參考。在視訊編碼器比較輸入像素區塊與參考圖框中之每一者時，視訊編碼器可判定表示輸入像素區塊與對應參考圖框之間的匹配的品質之相似性程度。
    圖2(b)說明可應用於自預測參考搜尋開發之相似性量測的例示性加權函數230、240。加權函數230為自針對時間上最接近於輸入圖框220之參考圖框201的最大值線性轉變至針對時間上距輸入圖框最遠之參考圖框210的最小值之線性函數。加權函數240為在複數個離散值之間轉變之階梯函數，該等離散值具有自針對時間上最接近於輸入圖框220之參考圖框201的最大值至針對時間上距輸入圖框最遠之參考圖框210的最小值。在另一實施例中，對於時間上與輸入參考圖框相隔大於預定量之參考圖框，加權函數250可設定為零。圖2(b)中所說明之加權函數僅為例示性的；如可需要，本發明適應任何數目個加權函數(按指數遞減函數、漸近遞減函數等)。
    在操作期間，可藉由與各別參考圖框相關聯之加權函數來按比例調整在參考預測搜尋期間開發之相似性量測。使用加權函數230，例如，若輸入像素區塊產生與參考圖框202及參考圖框208相同之相似性量測，則應用於參考圖框202之較高權重可使得相比參考圖框208優先選擇參考圖框202。然而，若在來自參考圖框208之相似性量測及參考圖框202之相似性量測兩者皆經按比例調整之後，來自參考圖框208之相似性量測為如此高以使得其值超過參考圖框202之相似性量測，則可將參考圖框208選擇為針對輸入像素區塊之預測參考。
    在操作期間，可藉由圖框差(輸入像素區塊與參考圖框之同位置資料之間的差之判定)產生相似性量測。或者，可藉由運動估計搜尋或自面部偵測器所偵測之面部的位置產生相似性量測。
    預期，強調時間上更接近於正經編碼之圖框的參考圖框將在編碼輸入圖框時導致減小的熵，且因此將在解碼器處重建構經編碼圖框時促成較高視覺品質。
    在另一實施例中，可執行待編碼之輸入圖框之選擇以在解碼器處之視訊重建構及播放期間減小抖動。儘管投影片放映模式傾向於使圖框速率下降至移動視訊之感知丟失的位準，但若可在經重建構影像中最小化抖動，則可保留經重建構影像之感知的品質。視訊編碼器可估計與每一經緩衝圖框相關聯之抖動的量且基於所估計之抖動將權重指派至圖框。
    視訊編碼器可基於將圖框區別為具有良好影像品質之度量而選擇待編碼之圖框。圖3為說明根據本發明之實施例的方法300之簡化流程圖，該方法300用於基於自動曝光資料選擇參考圖框。在圖3中，視訊編碼器可使用自動曝光(AE)控制作為一個此度量。許多攝影機系統使用回應於視訊序列內之變化亮度動態地調整攝影機內之曝光設定的演算法。
    在區塊310處，方法300可讀取針對為待編碼之候選者的輸入圖框之AE設定資料。接著，在區塊320處，方法300可判定在藉由攝影機捕獲輸入圖框時AE設定是否正在改變。若AE設定不正在改變，則在區塊330處，方法300可增加給予輸入圖框之權重。若AE設定正在改變，則在區塊340處，方法300可減小給予輸入圖框之權重。
    通常，攝影機回應於視訊序列內之亮度變化改變攝影機之AE設定。在AE設定正在改變時捕獲之圖框可具有不良影像品質，此係因為該等圖框曝光過度或曝光不足。對比而言，在AE設定穩定時捕獲之圖框可具有較佳影像品質，此係因為攝影機正使用適合於經捕獲之影像的亮度之AE設定操作。
    在另一實施例中，方法可檢查先前經編碼圖框與可用於編碼之經緩衝輸入圖框之間的曝光之差異。具有類似於先前經編碼圖框之曝光設定的經緩衝圖框可經指派高於具有不同曝光設定之其他經緩衝圖框的權重。
    在又一實施例中，方法可估計每一經緩衝圖框之明度及(在圖框內偵測到面部的情況下)面部之明度。方法可增加偵測到面部且面部經判定為良好曝光之圖框之權重。方法可減小面部經偵測到但經判定為曝光不足或曝光過度之圖框之權重。
    圖4(a)及圖4(b)說明根據本發明之實施例之方法，該方法用於基於空間複雜性資料選擇參考圖框。圖4(a)為說明用於基於空間複雜性資料選擇參考圖框之方法400的流程圖。具體言之，視訊編碼器可使用空間複雜性作為度量來識別為待編碼之候選者中的哪一或哪些圖框具有良好影像品質。視訊編碼器可使用預處理演算法來估計空間複雜性。
    在區塊410處，方法400可讀取針對為待編碼之候選者的輸入圖框之複雜性估計。接著，在區塊420處，方法400可比較複雜性估計與臨限值。若複雜性資料超過臨限值，則在區塊430處，方法400可增加給予輸入圖框之權重。若複雜性資料未超過臨限值，則在區塊440處，方法400可減小給予輸入圖框之權重。
    可以許多方式判定空間複雜性。預處理器可在候選圖框內執行邊緣偵測以識別圖框內之許多邊緣。預處理器(單獨或與編碼引擎協同)可執行影像資料之頻率變換，例如離散餘弦變換或小波變換，且判定在經變換資料內找到的高頻率分量之相對強度。可自此等度量執行圖4(a)之操作。
    在實施例中，可在相對基礎上判定針對輸入圖框之空間複雜性資料(區塊410)。具體言之，可判定針對候選輸入圖框之空間複雜性資料且將其與先前選定輸入圖框之空間複雜性資料相比較。接著比較所得差量與臨限值(區塊420)以確立是應增加抑或減小輸入圖框之權重(區塊430及440)。
    圖4(b)說明根據本發明之實施例之各種加權函數。通常，具有高空間複雜性之影像在可在解碼器處以充分影像保真度恢復該等影像的情況下經感知為具有高影像品質。然而，特別是在可用位元率下降至使得編碼器從事於投影片放映模式之低位準時，感知複雜影像之高影像品質可對於視訊編碼系統而言為困難的。因此，在一項實施例中，如曲線圖450中所說明，加權函數可將較高權重指派至較高複雜性之圖框。在另一實施例中，如曲線圖460中所說明，另一加權函數可將較高權重指派至中等複雜性之圖框。
    在又一實施例中，方法400可比較複雜性與表示複雜性之不同程度的複數個不同臨限值且回應於彼等比較指派不同權重。舉例而言，此等臨限值可對應於圖4(b)之曲線圖450、460中的不同階梯層級之間的邊界。一些複雜性值可使給定輸入圖框喪失作為用於編碼之候選者的資格。
    圖5為說明根據本發明之實施例的方法500之簡化流程圖，該方法500用於基於運動資料選擇參考圖框。具體言之，視訊編碼器可使用運動資料作為度量來識別為待編碼之候選者中的哪一或哪些圖框具有良好影像品質。視訊編碼器可經由預處理器自視訊序列導出運動資料或可自與攝影機嚙合之運動感測器接收此資料。
    在區塊510處，方法500可讀取針對為待編碼之候選者的輸入圖框之運動資料。接著，在區塊520處，方法500可比較運動與臨限值。若運動資料超過臨限值，則在區塊530處，方法500可減小給予輸入圖框之權重。若複雜性資料未超過臨限值，則在區塊540處，方法500可增加給予輸入圖框之權重。
    在實施例中，可在相對基礎上判定針對輸入圖框之運動資料(區塊510)。具體言之，可判定針對候選輸入圖框之運動資料且將其與先前選定輸入圖框之運動資料相比較。接著比較所得差量與臨限值(區塊520)以確立是應增加抑或減小輸入圖框之權重(區塊530及540)。
    如先前所論述，可在視訊編碼器內藉由預處理演算法產生運動資料。此等演算法通常藉由較大視訊序列內之圖框中的影像內容之估計移動來估計該圖框之全域運動。或者，(例如)藉由收納攝影機150(圖1)之終端機110(圖1)內的陀螺儀或加速度計提供之運動感測器資料可提供此資料。
    在另一實施例中，可自藉由面部偵測器170(圖1)輸出之資料導出運動資料。面部偵測器通常提供表示在視訊序列內偵測到面部時面部之座標的資料。在實施例中，方法可自圖框對圖框座標資料計算面部之速度，且可基於計算之速度將權重指派至個別圖框。
    通常，藉由移動攝影機捕獲之影像可能展現出假影，諸如減損感知之影像品質的運動模糊或滾動快門假影。因此，加權函數可將較高權重指派至低運動之圖框且將較低權重指派至具有中等至高運動之圖框。
    圖6為說明根據本發明之實施例的方法600之簡化流程圖，該方法600用於基於視覺興趣指示符選擇參考圖框。具體言之，視訊編碼器可使用視覺興趣指示符作為度量來識別為待編碼之候選者中的哪一或哪些圖框具有良好視覺興趣。面部偵測演算法(如名稱所隱含)執行程序以掃描視訊序列之圖框，且判定人面部是否存在於視域中。在面部偵測器識別影像內之面部時，偵測器可輸出識別面部之位置及/或大小的資料及指示(例如)眼睛是睜開抑或閉合及面部是否在微笑之輔助資料。視訊編碼器可使用此等指示符來選擇視覺上感興趣圖框以用於編碼。
    在區塊610處，方法600可讀取針對輸入圖框之面部偵測器資料。接著，在區塊620處，方法600可判定在輸入圖框之視域內是否偵測到面部。若偵測到面部，則在區塊630處，方法600可增加與輸入圖框相關聯之權重。若未偵測到面部，則在區塊640處，方法600可減小與輸入圖框相關聯之權重。結果，方法600可強調具有較高視覺興趣之圖框以用於編碼。
    視情況，在區塊650處，對於偵測到面部之圖框，可擴展方法600以判定面部是否展示為正在微笑。若是這樣，則在區塊660處，方法600可增加與輸入圖框相關聯之權重。若非如此，則在區塊670處，方法600可減小與輸入圖框相關聯之權重。此外，在區塊680處，方法600可視情況判定眼睛是否經偵測為睜開。若是這樣，則在區塊690處，方法600可增加與輸入圖框相關聯之權重。若非如此，則在區塊700處，方法600可減小與輸入圖框相關聯之權重。
    方法600亦可使用藉由面部偵測器提供之其他度量來調整經指派至每一圖框之權重。舉例而言，方法600可判定在視域內面部之大小，且相比於具有較小面部之圖框強調具有較大面部的圖框。另外，方法600可判定視域內面部之位置，且相比於具有提供於視域之中心外部的面部之圖框強調具有提供於視域之中心中的面部之圖框。此外，方法600可判定候選輸入圖框中之面部的位置，且將其與先前經編碼輸入圖框中之面部的位置相比較。方法600可相比於面部位置之差異大的圖框強調面部位置之差異小的圖框。
    方法600亦可將優先權重指派至面部經偵測在自動曝光(AE)計量分區內之圖框。舉例而言，許多自動曝光控制演算法基於視域之中心內的影像內容而開發AE控制。識別AE控制分區內之面部的圖框可具有經指派至該等圖框之增加權重，且識別AE控制分區外部之面部的圖框可具有經指派至該等圖框之較低權重。
    考慮編碼圖框速率允許每10個圖框當中僅有一個將被編碼之實例。在此狀況下，視訊編碼器將在10個圖框當中丟棄9個，從而產生10、20、30、40、50等之預設型樣。然而，在一些環境下，歸因於編碼品質考慮，視訊編碼器可在編碼圖框10之後選擇圖框15以用於編碼。可在此實例中藉由自圖框15建置新圖框型樣來最小化抖動。因此，對於下一選擇決定，圖框25而非圖框30將得到最高權重。權重可基於哪些圖框在播放期間產生最低抖動量之估計，該抖動量並不總是驅使與將會經編碼之原始圖框隔開。
    圖7為說明根據本發明之實施例的在視訊編碼器處於投影片放映模式中時之方法800之簡化流程圖。
    在區塊810處，視訊編碼器最初可在正常執行階段模式下操作，在該狀況下，視訊編碼器根據涉及預設圖框速率之一組預設編碼原則緩衝且編碼輸入視訊資料。接著，在操作中之某一點處，視訊編碼器可進入投影片放映模式，在該點處圖框速率下降至圖框無法以足夠高速率編碼以在播放時傳送運動感覺的位準。通常，此速率為1至3 fps。在視訊編碼器進入投影片放映模式時，視訊編碼器可評估其圖框緩衝器中含有的輸入圖框中之每一者為用於編碼之候選者。具體言之，在區塊820處，視訊編碼器可基於加權搜尋(例如，根據圖2中所描述之搜尋方法)對針對輸入圖框而言可達成之編碼品質分級。其後，在區塊830處，視訊編碼器可基於針對圖框之品質度量(例如，根據圖3至圖6中所描述之技術中之一或多者)對針對輸入圖框而言可達成之編碼品質分級。最後，在區塊840處，視訊編碼器可根據在區塊820至830處導出之分級來選擇且編碼經緩衝圖框中之一者。通常，此情形涉及選擇最高分級圖框。
    儘管視訊編碼器在投影片放映模式下操作，但在區塊850處，方法800可繼續緩衝藉由攝影機捕獲之新圖框，且以投影片放映圖框速率重複區塊820至840之操作直至視訊序列結束或視訊編碼器退出投影片放映模式為止。
    視訊編碼器可基於為圖框之間的時間間隔之一致性的「急動」來選擇用於編碼之經緩衝圖框。若當前圖框速率為每秒特定數目個圖框，例如每秒1個圖框，則視訊編碼器可選擇用於編碼之圖框，使得用於編碼之每一選定圖框與用於編碼之先前選定圖框間隔開大約1秒。
    視訊編碼器亦可藉由執行候選經緩衝圖框之像素與在面部區上具有額外加權的先前經編碼圖框之間的絕對差之簡單加權總和來選擇用於編碼之經緩衝圖框。此等選擇可能導致高效率的編碼。
    前述論述識別可用於根據本發明之各種實施例建構的視訊編碼系統中之功能區塊。實務上，此等系統可應用於多種器件中，該等器件諸如具備整合式視訊攝影機之行動器件(例如，具備攝影機功能之電話、娛樂系統及電腦)及/或諸如視訊會議設備及具有攝影機功能之桌上型電腦的有線通信系統。在一些應用中，上文中所描述之功能區塊可經提供為整合式軟體系統之元件，在整合式軟體系統中區塊可經提供為電腦程式之單獨元件。在其他應用中，功能區塊可經提供為處理系統之離散電路組件，諸如數位信號處理器或特殊應用積體電路內之功能單元。本發明之其他應用可經體現為專用硬體及軟體組件之混合系統。此外，本文中所描述之功能區塊不需要經提供為單獨單元。舉例而言，儘管圖1(b)將視訊編碼器之組件說明為單獨單元，但在一或多項實施例中，該等組件中之一些或全部可為整合的且其不需要為單獨單元。此等實施細節對於本發明之操作而言不重要，除非上文以其他方式註明。
    另外，本文中所說明之諸圖提供呈現本發明之標的物所必需的僅如此多的細節。實務上，除了本文中所描述之單元外，視訊編碼器通常將包括功能單元，該等功能單元包括音訊處理系統、如所說明之用以貫穿編碼管線儲存資料的緩衝器，及用以管理與通信網路及對應物解碼器器件之通信的通信收發器。出於清楚起見，已自前述論述省略此等元件。
    儘管上文參考一些實施例詳細描述本發明，但在本發明之範疇及精神內的變化對於一般熟習此項技術者二言將為顯而易見的。因此，本發明應被視為僅藉由附加申請專利範圍之範疇限制。
    100‧‧‧視訊編碼系統
    110‧‧‧終端機
    120‧‧‧終端機
    130‧‧‧網路
    131‧‧‧頻道
    140‧‧‧視訊編碼器
    141‧‧‧圖框緩衝器
    142‧‧‧預處理器
    143‧‧‧編碼引擎
    144‧‧‧參考圖像快取記憶體
    145‧‧‧傳輸器
    146‧‧‧控制器
    150‧‧‧攝影機
    155‧‧‧自動曝光控制
    160‧‧‧運動感測器
    170‧‧‧面部偵測器
    201‧‧‧參考圖框
    202‧‧‧參考圖框
    203‧‧‧參考圖框
    204‧‧‧參考圖框
    205‧‧‧參考圖框
    206‧‧‧參考圖框
    207‧‧‧參考圖框
    208‧‧‧參考圖框
    209‧‧‧參考圖框
    210‧‧‧參考圖框
    220‧‧‧新圖框/輸入圖框
    230‧‧‧加權函數
    240‧‧‧加權函數
    250‧‧‧加權函數
    450‧‧‧曲線圖
    460‧‧‧曲線圖
    圖1(a)為說明根據本發明之實施例的視訊編碼系統之簡化方塊圖。
    圖1(b)為說明根據本發明之實施例的終端機之組件之簡化方塊圖。
    圖2(a)及圖2(b)說明根據本發明之實施例之編碼操作，在該編碼操作中視訊編碼器基於時間資料選擇參考圖框。
    圖3為說明根據本發明之實施例的方法之簡化流程圖，該方法用於基於自動曝光資料選擇參考圖框。
    圖4(a)及圖4(b)說明根據本發明之實施例之方法，該方法用於基於空間複雜性資料選擇參考圖框。
    圖5為說明根據本發明之實施例的方法之簡化流程圖，該方法用於基於運動資料選擇參考圖框。
    圖6為說明根據本發明之實施例的方法之簡化流程圖，該方法用於基於視覺興趣指示符選擇參考圖框。
    圖7為說明根據本發明之實施例的在視訊編碼器處於投影片放映模式中時之方法之簡化流程圖。
    100‧‧‧視訊編碼系統
    110‧‧‧終端機
    120‧‧‧終端機
    130‧‧‧網路
    131‧‧‧頻道
    140‧‧‧視訊編碼器
    141‧‧‧圖框緩衝器
    142‧‧‧預處理器
    143‧‧‧編碼引擎
    144‧‧‧參考圖像快取記憶體
    145‧‧‧傳輸器
    146‧‧‧控制器
    150‧‧‧攝影機
    155‧‧‧自動曝光控制
    160‧‧‧運動感測器
    170‧‧‧面部偵測器
    权利要求:
    Claims (51)
    [1] 一種視訊編碼方法，其包含，當一編碼圖框速率下降低於一預定臨限值時：緩衝藉由一攝影機產生之複數個輸入視訊圖框，基於一圖框品質度量將權重指派至每一經緩衝輸入圖框，編碼一最高加權圖框，及自緩衝器丟棄複數個較低加權圖框而不編碼。
    [2] 如請求項1之視訊編碼方法，其中自該等經緩衝輸入圖框中之每一者的捕獲期間發生之攝影機自動曝光設定之改變的一速率導出該圖框品質度量。
    [3] 如請求項1之視訊編碼方法，其中自每一經緩衝輸入圖框與其先前圖框之間的曝光改變導出該圖框品質度量。
    [4] 如請求項1之視訊編碼方法，其中自每一經緩衝輸入圖框之估計的明度導出該圖框品質度量。
    [5] 如請求項1之視訊編碼方法，其中自對每一經緩衝輸入圖框執行之估計的面部偵測導出該圖框品質度量。
    [6] 如請求項5之視訊編碼方法，其中進一步自每一輸入圖框內之一所偵測面部的一區域之估計的明度導出該圖框品質度量。
    [7] 如請求項5之視訊編碼方法，其中進一步自每一輸入圖框內之一面部的一所偵測假影導出該圖框品質度量。
    [8] 如請求項5之視訊編碼方法，其中進一步自每一輸入圖框內之一所偵測面部的一位置導出該圖框品質度量。
    [9] 如請求項5之視訊編碼方法，其中進一步自與每一輸入圖框內之一所偵測面部相關聯的一信賴計分導出該圖框品質度量。
    [10] 如請求項7之視訊編碼方法，其中該假影為一所偵測微笑。
    [11] 如請求項7之視訊編碼方法，其中該假影為睜開眼睛之偵測。
    [12] 如請求項1之視訊編碼方法，其中自每一經緩衝輸入圖框內之空間複雜性的一估計導出該圖框品質度量。
    [13] 如請求項1之視訊編碼方法，其中自每一經緩衝輸入圖框之運動的一估計導出該圖框品質度量。
    [14] 如請求項1之視訊編碼方法，其中自與每一輸入圖框相關聯之抖動的一估計導出該圖框品質度量。
    [15] 如請求項1之視訊編碼方法，其中自每一輸入圖框與至少一先前經編碼圖框之間的時間一致性之一估計導出該圖框品質度量。
    [16] 如請求項1之視訊編碼方法，其中該編碼包含，對於待編碼之該圖框之每一像素區塊：執行待編碼之該圖框的該各別像素區塊與複數個在本端儲存之參考圖框之間的一運動估計搜尋，對於藉由該搜尋識別之每一候選參考圖框，判定待編碼之該各別像素區塊與來自該各別候選參考圖框的一匹配像素區塊之間的一相似性量測，根據該等候選參考圖框之時間位置按比例調整該等相似性量測，及基於該等經按比例調整之相似性量測選擇一匹配像素區塊作為針對待編碼之該像素區塊的一預測參考，及參考該預測參考編碼該輸入像素區塊。
    [17] 一種視訊編碼裝置，其包含：一攝影機，一視訊編碼器系統，其包含：一緩衝器，其用以儲存來自該攝影機之一視訊序列的輸入圖框，一編碼引擎，其用以根據時間預測技術來編碼來自該緩衝器之選定圖框，一參考圖像快取記憶體，其用以儲存經編碼參考圖框之經重建構視訊資料，及一控制器，其用以控制該視訊編碼序列之操作，其中當一編碼圖框速率下降低於一預定臨限值時：基於一圖框品質度量將權重指派給每一經緩衝輸入圖框，選擇一最高加權圖框以用於編碼，及自該緩衝器丟棄複數個較低加權圖框而不編碼。
    [18] 如請求項17之裝置，其中自該等經緩衝輸入圖框中之每一者的捕獲期間發生之攝影機自動曝光設定之改變的一速率導出該圖框品質度量。
    [19] 如請求項17之裝置，其中該視訊編碼器包含估計經緩衝圖框之曝光的一預處理器，且自每一經緩衝輸入圖框與其先前圖框之間的曝光改變導出該圖框品質度量。
    [20] 如請求項17之裝置，其中該視訊編碼器包含估計經緩衝圖框之明度的一預處理器，且自每一經緩衝輸入圖框之估計的明度導出該圖框品質度量。
    [21] 如請求項17之裝置，其進一步包含一面部偵測器，其中量自對每一經緩衝輸入圖框執行之估計的面部偵測導出該圖框品質度。
    [22] 如請求項17之裝置，其中該視訊編碼器包含估計經緩衝圖框之空間複雜性的一預處理器，且自每一經緩衝輸入圖框內之空間複雜性的一估計導出該圖框品質度量。
    [23] 如請求項17之裝置，其進一步包含一運動感測器，其中自每一經緩衝輸入圖框之運動的一估計導出該圖框品質度量。
    [24] 如請求項17之裝置，其中自與每一輸入圖框相關聯之抖動的一估計導出該圖框品質度量。
    [25] 如請求項17之裝置，其中自每/一輸入圖框與至少一先前經編碼圖框之間的時間一致性之一估計導出該圖框品質度量。
    [26] 一種上面儲存有程式指令之電腦可讀儲存器件，該等程式指令在藉由一處理器執行時使該處理器：在該儲存器件中緩衝藉由一攝影機產生之複數個輸入視訊圖框，基於一圖框品質度量將權重指派至每一經緩衝輸入圖框，編碼一最高加權圖框，及自該儲存器件丟棄複數個較低加權圖框而不編碼。
    [27] 如請求項26之儲存器件，其中自在該等經緩衝輸入圖框中之每一者的捕獲期間發生之攝影機自動曝光設定之改變的一速率導出該圖框品質度量。
    [28] 如請求項26之儲存器件，其中自每一經緩衝輸入圖框與其先前圖框之間的曝光改變導出該圖框品質度量。
    [29] 如請求項26之儲存器件，其中自每一經緩衝輸入圖框之估計的明度導出該圖框品質度量。
    [30] 如請求項26之儲存器件，其中自對每一經緩衝輸入圖框執行之估計的面部偵測導出該圖框品質度量。
    [31] 如請求項30之儲存器件，其中進一步自每一輸入圖框內之一所偵測面部的一區域之估計的明度導出該圖框品質度量。
    [32] 如請求項30之儲存器件，其中進一步自每一輸入圖框內之一面部的一所偵測假影導出該圖框品質度量。
    [33] 如請求項30之儲存器件，其中進一步自每一輸入圖框內之一所偵測面部的一位置導出該圖框品質度量。
    [34] 如請求項30之儲存器件，其中進一步自與每一輸入圖框內之一所偵測面部相關聯的一信賴計分導出該圖框品質度量。
    [35] 如請求項26之儲存器件，其中自每一經緩衝輸入圖框內之空間複雜性的一估計導出該圖框品質度量。
    [36] 如請求項26之儲存器件，其中自每一經緩衝輸入圖框之運動的一估計導出該圖框品質度量。
    [37] 如請求項26之儲存器件，其中自與每一輸入圖框相關聯之抖動的一估計導出該圖框品質度量。
    [38] 如請求項26之儲存器件，其中自每一輸入圖框與至少一先前經編碼圖框之間的時間一致性之一估計導出該圖框品質度量。
    [39] 如請求項26之儲存器件，其中藉由該處理器之該編碼包含，藉由以下操作編碼該圖框之每一像素區塊：執行待編碼之該圖框的該各別像素區塊與複數個在本端儲存之參考圖框之間的一運動估計搜尋，對於藉由該搜尋識別之每一候選參考圖框，判定待編碼之該各別像素區塊與來自該各別候選參考圖框的一匹配像素區塊之間的一相似性量測，根據該等候選參考圖框之時間位置而按比例調整該等相似性量測，及基於該等經按比例調整之相似性量測選擇一匹配像素區塊作為針對待編碼之該像素區塊的一預測參考，及參考該預測參考編碼該輸入像素區塊。
    [40] 一種視訊編碼方法，其包含，當一編碼圖框速率下降低於一預定臨限值時：選擇一輸入圖框以用於編碼，對於該輸入圖框之每一像素區塊：執行該各別像素區塊與複數個在本端儲存之參考圖框之間的一運動估計搜尋，對於藉由該搜尋識別之每一候選參考圖框，判定該各別像素區塊與來自該各別候選參考圖框的一匹配像素區塊之間的一相似性量測，根據該等候選參考圖框之時間位置按比例調整該等相似性量測，及基於該等經按比例調整之相似性量測選擇一匹配像素區塊作為針對該輸入像素區塊的一預測參考，及參考該預測參考編碼該輸入像素區塊。
    [41] 如請求項40之方法，其中該按比例調整根據一按比例調整函數而發生，該按比例調整函數隨著該輸入圖框與該經緩衝參考圖框之間的時間距離增加而減小每一經緩衝參考圖框。
    [42] 如請求項40之方法，其中該選擇包含：基於一圖框品質度量將權重指派至複數個經緩衝輸入圖框中之每一者，及選擇一最高加權輸入圖框以用於編碼。
    [43] 如請求項42之方法，其進一步包含自緩衝器丟棄其他較低加權輸入圖框而不編碼。
    [44] 如請求項42之方法，其中自該等經緩衝輸入圖框中之每一者的捕獲期間發生之攝影機自動曝光設定之改變的一速率導出該圖框品質度量。
    [45] 如請求項42之方法，其中自每一經緩衝輸入圖框與其先前圖框之間的曝光改變導出該圖框品質度量。
    [46] 如請求項42之方法，其中自每一經緩衝輸入圖框之估計的明度導出該圖框品質度量。
    [47] 如請求項42之方法，其中自對每一經緩衝輸入圖框執行之估計的面部偵測導出該圖框品質度量。
    [48] 如請求項42之方法，其中自每一經緩衝輸入圖框內之空間複雜性的一估計導出該圖框品質度量。
    [49] 如請求項42之方法，其中自每一經緩衝輸入圖框之運動的一估計導出該圖框品質度量。
    [50] 如請求項42之方法，其中自與每一輸入圖框相關聯之抖動的一估計導出該圖框品質度量。
    [51] 如請求項42之方法，其中自每一輸入圖框與至少一先前經編碼圖框之間的時間一致性之一估計導出該圖框品質度量。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI511529B|2015-12-01|基於圖框相似性及視覺品質及興趣之圖框編碼選擇
    US10957358B2|2021-03-23|Reference and non-reference video quality evaluation
    JP5215288B2|2013-06-19|映像符号化のための時間的品質メトリック
    US8558903B2|2013-10-15|Accelerometer / gyro-facilitated video stabilization
    CN103650509B|2017-05-17|基于照相机和背景运动的参考帧缓冲区的自适应配置
    CN106664437B|2020-04-10|一种用于对视频内容进行编码以进行无线传输的计算机实现的方法、系统、设备以及可读介质
    US20130044183A1|2013-02-21|Distributed video coding/decoding method, distributed video coding/decoding apparatus, and transcoding apparatus
    CN103650504A|2014-03-19|基于图像捕获参数对视频编码的控制
    US20120195376A1|2012-08-02|Display quality in a variable resolution video coder/decoder system
    US20120195356A1|2012-08-02|Resource usage control for real time video encoding
    CN111033519B|2021-07-27|用于编码器引导的自适应质量渲染的系统和方法
    JP2008005108A|2008-01-10|映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム
    US20140254688A1|2014-09-11|Perceptual Quality Of Content In Video Collaboration
    US20180262714A1|2018-09-13|Systems and Methods for Perspective Shifting in Video Conferencing Session
    US20200267396A1|2020-08-20|Human visual system adaptive video coding
    US20130121422A1|2013-05-16|Method And Apparatus For Encoding/Decoding Data For Motion Detection In A Communication System
    US10609440B1|2020-03-31|Timing data anomaly detection and correction
    Yang et al.2019|FoVR: Attention-based VR streaming through bandwidth-limited wireless networks
    CN111788538A|2020-10-16|头戴式显示器以及减少所连接的远程显示器中视觉诱发运动疾病的方法
    US10051281B2|2018-08-14|Video coding system with efficient processing of zooming transitions in video
    JP2016051926A|2016-04-11|画像処理装置、画像処理方法、及びプログラム
    KR20150052049A|2015-05-13|비디오 품질 평가를 위해 모션 균일성을 추정하기 위한 방법 및 장치
    同族专利:
    公开号 | 公开日
    KR20140016999A|2014-02-10|
    JP2014523713A|2014-09-11|
    EP2727344B1|2018-09-19|
    JP5766877B2|2015-08-19|
    WO2013006469A1|2013-01-10|
    EP2727344A1|2014-05-07|
    US20130003846A1|2013-01-03|
    KR101602032B1|2016-03-17|
    TWI511529B|2015-12-01|
    CN103636212A|2014-03-12|
    US9723315B2|2017-08-01|
    CN103636212B|2017-10-31|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    US5563661A|1993-04-05|1996-10-08|Canon Kabushiki Kaisha|Image processing apparatus|
    US6370195B1|1998-04-14|2002-04-09|Hitachi, Ltd.|Method and apparatus for detecting motion|
    US6526097B1|1999-02-03|2003-02-25|Sarnoff Corporation|Frame-level rate control for plug-in video codecs|
    US6754279B2|1999-12-20|2004-06-22|Texas Instruments Incorporated|Digital still camera system and method|
    JP2001333429A|2000-05-24|2001-11-30|Matsushita Electric Ind Co Ltd|画像符号化装置および画像復号化装置|
    JP2003169284A|2001-12-04|2003-06-13|Fuji Photo Film Co Ltd|画像変換装置並びに画像変換プログラム|
    US7558320B2|2003-06-13|2009-07-07|Microsoft Corporation|Quality control in frame interpolation with motion analysis|
    EP2136562B1|2003-07-11|2020-01-08|Hitachi, Ltd.|Image-processing camera system and image-processing camera control method|
    US7526028B2|2003-07-25|2009-04-28|Taiwan Imaging-Tek Corp.|Motion estimation method and apparatus for video data compression|
    US7460250B2|2003-10-24|2008-12-02|3Dm Devices Inc.|Laser triangulation system|
    US7128266B2|2003-11-13|2006-10-31|Metrologic Instruments. Inc.|Hand-supportable digital imaging-based bar code symbol reader supporting narrow-area and wide-area modes of illumination and image capture|
    US8824730B2|2004-01-09|2014-09-02|Hewlett-Packard Development Company, L.P.|System and method for control of video bandwidth based on pose of a person|
    JP4073444B2|2005-06-08|2008-04-09|三菱電機株式会社|動画像符号化装置|
    US8175147B1|2005-08-08|2012-05-08|Texas Instruments Incorporated|Video coding rate control|
    RU2370815C2|2005-08-19|2009-10-20|Самсунг Электроникс Ко., Лтд.|Способ и система для выделения и классификации дефектов экспозиции цифровых изображений|
    US20070041657A1|2005-08-19|2007-02-22|Samsung Electronics Co., Ltd.|Image processing device to determine image quality and method thereof|
    US7983458B2|2005-09-20|2011-07-19|Capso Vision, Inc.|In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band|
    JP4724061B2|2006-07-06|2011-07-13|株式会社東芝|動画像符号化装置|
    KR101520027B1|2007-06-21|2015-05-14|삼성전자주식회사|움직임 추정 방법 및 장치|
    US20100027663A1|2008-07-29|2010-02-04|Qualcomm Incorporated|Intellegent frame skipping in video coding based on similarity metric in compressed domain|
    JP2010074323A|2008-09-17|2010-04-02|Sony Corp|記録装置および方法、並びに記録再生装置および方法|
    JP2011066790A|2009-09-18|2011-03-31|Pioneer Electronic Corp|画像記録装置及び画像再生装置|
    US20110292997A1|2009-11-06|2011-12-01|Qualcomm Incorporated|Control of video encoding based on image capture parameters|
    US9473792B2|2009-11-06|2016-10-18|Texas Instruments Incorporated|Method and system to improve the performance of a video encoder|
    WO2012000109A1|2010-07-02|2012-01-05|Librestream Technologies Inc.|Adaptive frame rate control for video in a resource limited system|
    JP5067471B2|2010-11-29|2012-11-07|株式会社日立製作所|復号化方法、復号化装置、及びプログラム|
    US9007432B2|2010-12-16|2015-04-14|The Massachusetts Institute Of Technology|Imaging systems and methods for immersive surveillance|
    US9451274B2|2011-04-28|2016-09-20|Koninklijke Philips N.V.|Apparatuses and methods for HDR image encoding and decoding|JP2014082541A|2012-10-12|2014-05-08|National Institute Of Information & Communication Technology|互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置|
    JP2014192702A|2013-03-27|2014-10-06|National Institute Of Information & Communication Technology|複数の入力画像をエンコーディングする方法、プログラムおよび装置|
    CN103957417B|2014-04-21|2018-01-12|深圳市视晶无线技术有限公司|一种高鲁棒性的视频编码方法及系统|
    KR101729195B1|2014-10-16|2017-04-21|한국전자통신연구원|질의동작기반 안무 검색 시스템 및 방법|
    WO2017199687A1|2016-05-18|2017-11-23|株式会社日立国際電気|撮像装置|
    WO2018076370A1|2016-10-31|2018-05-03|华为技术有限公司|一种视频帧的处理方法及设备|
    FR3105904A1|2019-12-26|2021-07-02|Thales|Procédé d'allocation pour liaison bas-débit|
    CN112351280A|2020-10-26|2021-02-09|杭州海康威视数字技术股份有限公司|视频编码方法、装置、电子设备及可读存储介质|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    US201161503795P| true| 2011-07-01|2011-07-01||
    US13/443,745|US9723315B2|2011-07-01|2012-04-10|Frame encoding selection based on frame similarities and visual quality and interests|
    [返回顶部]